球形图像处理已被广泛应用于许多重要领域，例如自动驾驶汽车，全球气候建模和医学成像的全向视觉。扩展针对平面图像开发的算法的算法是非平凡的。在这项工作中，我们专注于具有基于深度学习的正常化程序的球形图像的具有挑战性的任务。我们采用了快速的方向球形帧转换，而不是对平面图像的现有模型的幼稚应用，并基于framelet变换的稀疏性假设而开发了一种新颖的优化框架。此外，通过采用渐进式编码器架构，经过精心设计的新的，表现出色的CNN Denoiser，可以作为隐式正规化程序进行设计。最后，我们使用插件方法来处理提出的优化模型，可以通过训练CNN Denoiser先验来有效地实现。进行了数值实验，并表明所提出的算法可以极大地恢复损坏的球形图像，并使用深度学习的DeNoiser和Paint-＆play模型实现最佳性能。

为了使视频模型能够在不同环境中无缝应用，已经提出了各种视频无监督的域适应性（VUDA）方法来提高视频模型的鲁棒性和可传递性。尽管模型鲁棒性有所改进，但这些VUDA方法仍需要访问源数据和源模型参数以进行适应，从而提高了严重的数据隐私和模型可移植性问题。为了应对上述问题，本文首先将Black-Box视频域的适应（BVDA）制定为更现实但具有挑战性的场景，在该场景中，仅作为Black-Box预测器提供了源视频模型。尽管在图像域中提出了一些针对黑框域适应性（BDA）的方法，但这些方法不能适用于视频域，因为视频模式具有更复杂的时间特征，难以对齐。为了解决BVDA，我们通过应用蒙版到混合策略和视频量的正则化：内部正规化和外部正规化，提出了一个新颖的内野和外部正规化网络（EXTERS），在剪辑和时间特征上执行，并进行外部正规化，同时将知识从从黑框预测变量获得的预测中提炼出来。经验结果表明，在各种跨域封闭设置和部分集合动作识别基准中，外部的最先进性能甚至超过了具有源数据可访问性的大多数现有视频域适应方法。

神经隐式表示在新的视图合成和来自多视图图像的高质量3D重建方面显示了其有效性。但是，大多数方法都集中在整体场景表示上，但忽略了其中的各个对象，从而限制了潜在的下游应用程序。为了学习对象组合表示形式，一些作品将2D语义图作为训练中的提示，以掌握对象之间的差异。但是他们忽略了对象几何和实例语义信息之间的牢固联系，这导致了单个实例的不准确建模。本文提出了一个新颖的框架ObjectsDF，以在3D重建和对象表示中构建具有高保真度的对象复合神经隐式表示。观察常规音量渲染管道的歧义，我们通过组合单个对象的签名距离函数（SDF）来对场景进行建模，以发挥明确的表面约束。区分不同实例的关键是重新审视单个对象的SDF和语义标签之间的牢固关联。特别是，我们将语义信息转换为对象SDF的函数，并为场景和对象开发统一而紧凑的表示形式。实验结果表明，ObjectSDF框架在表示整体对象组合场景和各个实例方面的优越性。可以在https://qianyiwu.github.io/objectsdf/上找到代码

通过将熵编解码器应用于学习的数据分布，神经压缩机在压缩比方面显着优于传统编解码器。但是，神经网络的高推断潜伏期阻碍了实际应用中神经压缩机的部署。在这项工作中，我们提出了仅整数离散流（IODF），这是一种具有仅整数算术的有效神经压缩机。我们的工作建立在整数离散流的基础上，该流程包括离散随机变量之间的可逆转换。我们提出了基于8位量化的纯整数算术的有效可逆转换。我们的可逆转换配备了可学习的二进制门，以在推理过程中去除冗余过滤器。我们在GPU上使用Tensorrt部署IODF，与现有最快的神经压缩机相比，达到10倍推理的速度，同时保留了Imagenet32和Imagenet64上的高压缩率。

基于分数的生成模型在发电质量和可能性方面具有出色的性能。他们通过将参数化的分数网络与一阶数据得分功能匹配来建模数据分布。分数网络可用于定义ODE（“基于得分的扩散ode”），以进行精确的似然评估。但是，颂歌的可能性与得分匹配目标之间的关系尚不清楚。在这项工作中，我们证明，匹配一阶得分不足以通过在最大可能性和分数匹配目标之间显示差距来最大化ode的可能性。为了填补这一空白，我们表明，可以通过控制第一，第二和三阶得分匹配错误来界定颂歌的负可能性；我们进一步提出了一种新型的高阶denoising评分匹配方法，以实现基于得分的扩散ODE的最大似然训练。我们的算法确保高阶匹配误差受训练错误和较低级错误的限制。我们从经验上观察到，通过高阶匹配，基于得分的扩散频率在合成数据和CIFAR-10上都具有更好的可能性，同时保留了高生成质量。

扩散概率模型（DPM）是新兴的强大生成模型。尽管具有高质量的生成性能，但DPM仍然遭受缓慢采样的苦难，因为它们通常需要数百或数千个大型神经网络的顺序函数评估（步骤）来绘制样本。可以将来自DPM的采样视为求解相应的扩散普通微分方程（ODE）。在这项工作中，我们提出了扩散ODE的溶液的精确表述。该公式通过分析计算解决方案的线性部分，而不是将所有术语留给先前工作中采用的黑盒ode求解器。通过应用可变化的更改，可以将解决方案等效地简化为神经网络的指数加权积分。根据我们的公式，我们提出了DPM-Solver，这是一种通过收敛顺序保证的快速专用高阶求解器。 DPM溶剂适用于离散时间和连续时间DPM，而无需进行任何进一步的培训。实验结果表明，DPM-Solver可以在各种数据集上的10至20个功能评估中生成高质量的样本。我们在10个功能评估中实现了4.70 FID，在CIFAR10数据集上进行20个功能评估中的2.87 FID，与以前的各种数据集中的先前最先进的无培训样本器相比，$ 4 \ sim 16 \ times $速度。

大规模数据集上的视觉语言预训练（VLP）在各种下游任务上表现出了首要性能。对于VLP来说，完整且公平的基准（即包括大规模的预训练数据集和各种下游任务）是必不可少的。尽管有很多具有英语语料库的基准，但使用其他语言（例如中文）为VLP建立丰富的基准是一个关键问题。为此，我们为研究界建立了一个称为零的中国跨模式基准，以比较VLP模型。我们发布两个用于下游任务的预训练数据集和五个微调数据集。旁边，我们提出了一个新的预训练前训练框架，用于跨模式学习。具体而言，我们应用全局对比度预级分别学习图像和文本的各个表示。然后，我们通过图像文本交叉编码器和文本图像交叉编码器以细粒度的排名方式融合表示形式。为了进一步增强模型的能力，我们提出了一种由目标引导的蒸馏和特征引导的蒸馏组成的双向蒸馏策略。对于简洁起见，我们将型号r2d2命名。我们在四个公共跨模式数据集和拟议的五个下游数据集上实现最先进的性能。在Flickr30k-CN，可可-CN和Muge进行零射击任务时，与最平均召回的R2D2进行了2.5亿个数据集的R2D2，在2.5亿个数据集中进行了4.7％，5.4％和6.3％的均值改善，而与最新的召回相比艺术。数据集，模型和代码可在https://github.com/yuxie11/r2d2上找到

在许多真实世界应用程序中，我们经常需要处理各种部署方案，其中动态指定资源约束和对应于一组类的感兴趣的超类。如何为各种部署方案有效地部署深层模型是一个新的挑战。以前的NAS方法寻求同时为所有课程设计架构，这可能对某些单独的超类可能不是最佳的。直接解决方案是从划痕搜索每个部署方案的架构，然而，这是计算密集型和不切实际的。为了解决这个问题，我们提出了一种新颖且一般的框架，称为弹性架构搜索（EAS），允许在运行时即时专业化，以便具有各种资源限制的不同超类。为此，我们首先建议通过超类辍学策略有效地培训过参数化网络，以在训练期间解开不同的超类。以这种方式，所得到的模型对于在推理时间下降的随后的超类稳健。基于训练有素的过度参数化网络，我们提出了一个有效的架构生成器，以便在单个前向传递中获得有希望的架构。在三个图像分类数据集上的实验表明，EAS能够找到具有更好性能的更紧凑的网络，同时比最先进的NAS方法更快的数量序列。例如，我们的建议EA在50个部署方案中找到了0.1秒内的紧凑架构。

Existing object detection methods are bounded in a fixed-set vocabulary by costly labeled data. When dealing with novel categories, the model has to be retrained with more bounding box annotations. Natural language supervision is an attractive alternative for its annotation-free attributes and broader object concepts. However, learning open-vocabulary object detection from language is challenging since image-text pairs do not contain fine-grained object-language alignments. Previous solutions rely on either expensive grounding annotations or distilling classification-oriented vision models. In this paper, we propose a novel open-vocabulary object detection framework directly learning from image-text pair data. We formulate object-language alignment as a set matching problem between a set of image region features and a set of word embeddings. It enables us to train an open-vocabulary object detector on image-text pairs in a much simple and effective way. Extensive experiments on two benchmark datasets, COCO and LVIS, demonstrate our superior performance over the competing approaches on novel categories, e.g. achieving 32.0% mAP on COCO and 21.7% mask mAP on LVIS. Code is available at: https://github.com/clin1223/VLDet.

This paper proposes a self-supervised approach to learn universal facial representations from videos, that can transfer across a variety of facial analysis tasks such as Facial Attribute Recognition (FAR), Facial Expression Recognition (FER), DeepFake Detection (DFD), and Lip Synchronization (LS). Our proposed framework, named MARLIN, is a facial video masked autoencoder, that learns highly robust and generic facial embeddings from abundantly available non-annotated web crawled facial videos. As a challenging auxiliary task, MARLIN reconstructs the spatio-temporal details of the face from the densely masked facial regions which mainly include eyes, nose, mouth, lips, and skin to capture local and global aspects that in turn help in encoding generic and transferable features. Through a variety of experiments on diverse downstream tasks, we demonstrate MARLIN to be an excellent facial video encoder as well as feature extractor, that performs consistently well across a variety of downstream tasks including FAR (1.13% gain over supervised benchmark), FER (2.64% gain over unsupervised benchmark), DFD (1.86% gain over unsupervised benchmark), LS (29.36% gain for Frechet Inception Distance), and even in low data regime. Our codes and pre-trained models will be made public.